{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "pycharm": {
     "name": "#%% md\n"
    }
   },
   "source": [
    "### 爬虫\n",
    "- 地址"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "outputs": [],
   "source": [
    "import requests\n",
    "\n",
    "from bs4 import BeautifulSoup\n",
    "\n",
    "import re"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "outputs": [],
   "source": [
    "\n",
    "def getHTMLText(url):\n",
    "    try:\n",
    "\n",
    "        r = requests.get(url, timeout=30)\n",
    "\n",
    "        r.raise_for_status()  #如果状态码不是200，产生异常\n",
    "\n",
    "        r.encoding = 'utf-8'  #字符编码格式改成 utf-8\n",
    "\n",
    "        return r.text\n",
    "\n",
    "    except:\n",
    "\n",
    "        #异常处理\n",
    "\n",
    "        return \" error \"\n",
    "\n",
    "\n",
    "def findHTMLText(text):\n",
    "    soup = BeautifulSoup(text, \"html.parser\")\n",
    "\n",
    "    return soup.find_all(string=re.compile('玉米')) # 字符串片段匹配\n",
    "\n",
    "\n",
    "url = \"\"\"https://www.zdic.net/hans/%E7%8E%89%E7%B1%B3\"\"\"\n",
    "res = findHTMLText(getHTMLText(url))"
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['玉米的解释|玉米的意思|汉典“玉米”词语的解释', '玉米', '玉米', '玉米', '玉米', '玉米', '玉米 （禾本科玉米属植物）', '玉米（拉丁学名：', '玉米是一年生雌雄同株异花授粉植物， 植株高大， 茎强壮， 是重要的粮食作物和饲料作物， 也是全世界总产量最高的农作物， 其种植面积和总产量仅次于水稻和小麦。玉米一直都被誉为长寿食品， 含有丰富的蛋 白质、 脂肪、 维生素、 微量元素、 纤维素等， 具有开发高营养、 高生物学功能食品的巨大潜力。但由于其遗传性较为复杂， 变异种类丰富， 在常规的育种过程中存在着周期过长、 变异系数过大、 影响子代生长发育的缺点， 而现代生物育种技术不但克服了上述缺点和不足， 同时也提高了育种速度和质量。', '玉米味道香甜，可做各式菜肴，如玉米烙、玉米汁等，它也是工业酒精和烧酒的主要原料。', '2018年8月，财政部、农业农村部、银保监会印发通知，将玉米作物制种纳入中央财政农业保险保险费补贴目录。']\n"
     ]
    },
    {
     "data": {
      "text/plain": "\"\\n['玉米的解释|玉米的意思|汉典“玉米”词语的解释',\\n'玉米', '玉米', '玉米', '玉米', '玉米', '玉米 （禾本科玉米属植物）', \\n'玉米（拉丁学名：', '玉米是一年生雌雄同株异花授粉植物， 植株高大， 茎强壮，\\n是重要的粮食作物和饲料作物， 也是全世界总产量最高的农作物， \\n其种植面积和总产量仅次于水稻和小麦。玉米一直都被誉为长寿食品，\\n含有丰富的蛋 白质、 脂肪、 维生素、 微量元素、 纤维素等， 具有开发高营养、\\n高生物学功能食品的巨大潜力。但由于其遗传性较为复杂， 变异种类丰富，\\n在常规的育种过程中存在着周期过长、 变异系数过大、 影响子代生长发育的缺点， \\n而现代生物育种技术不但克服了上述缺点和不足， 同时也提高了育种速度和质量。', \\n'玉米味道香甜，可做各式菜肴，如玉米烙、玉米汁等，它也是工业酒精和烧酒的主要原料。',\\n'2018年8月，财政部、农业农村部、银保监会印发通知，将玉米作物制种纳入中央财政农业保险保险费补贴目录。']\\n\""
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "print(res)\n",
    "\"\"\"\n",
    "['玉米的解释|玉米的意思|汉典“玉米”词语的解释',\n",
    "'玉米', '玉米', '玉米', '玉米', '玉米', '玉米 （禾本科玉米属植物）',\n",
    "'玉米（拉丁学名：', '玉米是一年生雌雄同株异花授粉植物， 植株高大， 茎强壮，\n",
    "是重要的粮食作物和饲料作物， 也是全世界总产量最高的农作物，\n",
    "其种植面积和总产量仅次于水稻和小麦。玉米一直都被誉为长寿食品，\n",
    "含有丰富的蛋 白质、 脂肪、 维生素、 微量元素、 纤维素等， 具有开发高营养、\n",
    "高生物学功能食品的巨大潜力。但由于其遗传性较为复杂， 变异种类丰富，\n",
    "在常规的育种过程中存在着周期过长、 变异系数过大、 影响子代生长发育的缺点，\n",
    "而现代生物育种技术不但克服了上述缺点和不足， 同时也提高了育种速度和质量。',\n",
    "'玉米味道香甜，可做各式菜肴，如玉米烙、玉米汁等，它也是工业酒精和烧酒的主要原料。',\n",
    "'2018年8月，财政部、农业农村部、银保监会印发通知，将玉米作物制种纳入中央财政农业保险保险费补贴目录。']\n",
    "\"\"\""
   ],
   "metadata": {
    "collapsed": false,
    "pycharm": {
     "name": "#%%\n"
    }
   }
  }
 ],
 "metadata": {
  "kernelspec": {
   "name": "python3",
   "language": "python",
   "display_name": "Python 3 (ipykernel)"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 2
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython2",
   "version": "2.7.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 0
}